Modus ETL
Управление корпоративным хранилищем данных

Основные статьи:

• Управление данными (Data management)
• Определение Business Intelligence

Modus ETL - российское решение, предназначенное для управления процессами ETL и Data Quality Management. Позволяет собирать данные из множества источников, обеспечивает процессы верификации, стандартизации, категоризации и трансформации данных.Александр Стихарёв, Shtab: Российскому рынку collaboration-систем не хватает экосистемности 16 т

Modus ETL позволяет сформировать и обеспечить управление корпоративным хранилищем данных на СУБД MSSQL, PostgreSQL или Vertica.

Обеспечивает быстрое подключение источников данных за счет готовых интеграций с 1C, SAP, Oracle, различными СУБД, файлами Excel и другими веб-сервисами.

Решение реализовано на платформе 1С:Предприятие 8.3. Открытый для изменения код с возможностью самостоятельной доработки продукта 1С-разработчиками.

Работает на серверах под управлением ОС Windows и Linux.

Modus ETL включен в единый реестр российского ПО и имеет сертификацию «1С:Совместимо!».

2025

Совместимость с СУБД Platform V Pangolin DB

Modus и СберТех 28 октября 2025 года объявили об успешном завершенном тестировании технологической совместимости своих продуктов для управления данными — инструментов Modus ETL и Modus BI с СУБД Platform V Pangolin DB. Компании подтвердили корректность и стабильность работы при комплексной интеграции решений в единую аналитическую инфраструктуру. Подробнее здесь.

Modus ETL 1.6 с полем «Отключить создание промежуточных таблиц»

Компания Modus 21 мая 2025 года сообщила о выпуске обновлённых версий своих продуктов - Modus BI 3.9 и Modus ETL 1.6.

Изменения коснулись не только аналитического портала, но и сервиса для сбора и обработки данных.

Разработано поле «Отключить создание промежуточных таблиц» на вкладке «Дополнительно» в составе выгрузки. Теперь работа с большими данными оптимизирована: благодаря прямой пересылке требуется меньше времени на передачу данных из источника в хранилище.

При установке галочки в этом поле:

• значения загружаются сразу в целевую таблицу, при этом промежуточные временные таблицы не создаются;
• при делении на потоки по параметрам данные собираются сразу в целевую таблицу;
• при сборе данных через ClickHouse агент не создает временные таблицы.

Исправлен порядок заполнения полей таблицы для Clickhouse: теперь при создании правила выгрузки вида «Запрос» порядок заполнения полей соответствует порядку, который был задан в SQL-запросе.

Администрирование

• В настройке «Управление хранилищем» опция «Использовать трансформацию таблиц» переименована в «Использовать трансформацию таблиц в схему Звезда»
• Оптимизирована работа с дисковым пространством: теперь удаление временных файлов, записанных с использованием агента, происходит по расписанию.

Команда Modus доработала форму «Расширенные настройки» на вкладке шагов сценария для того, чтобы использовать интерфейс было ещё удобнее. Теперь, если пользователь выбирает визуальный элемент типа «Шаг» или «Связь», то в форме отображаются действия, доступные для совершения.

Modus ETL 1.6.11

10 марта 2025 года компания Modus сообщила о выходе обновления Modus ETL 1.6.11.

𝓲

Фото: Modus

По информации компании, изменения коснулись следующего.

Получение данных из источников:

• Добавлена быстрая загрузка больших файлов форматов XLSX и CSV. Теперь 1 000 000 записей XLSX грузится за 53 секунды, а 4 000 000 записей CSV грузятся за 32 секунды.
• Доработан механизм получения структуры метаданных хранилища из баз 1С: повторное получение списка доступных таблиц и состава их полей (обновление метаданных) из баз данных 1С теперь происходит в ~5 раз быстрее.
• Улучшен механизм проверки корректности пользовательских настроек, отвечающих за взаимодействие между Агентом ETL и Modus ETL. Теперь при проверке корректности пользовательских настроек нажатии на кнопку "Проверить доступность" происходит не только проверка доступности Агента ETL, но и проверка настроек Modus ETL. Так пользователи могут выявить некорректные настройки сразу, не дожидаясь возникновения ошибок в процессе получения данных.
• Оптимизировано получение данных из источников 1С. Теперь данные передаются пачками фиксированного размера и сразу помещаются в хранилище. Это помогает обойти ограничения 1С-источников по передаче больших файлов и снижает потребление ОЗУ в базе-источнике.
• Доработан Агент ETL: теперь заполнение параметров 'Адрес', 'Логин', 'Пароль' контролируется автоматически. Также добавлен вывод ошибок, выявленных при проверке, в лог работы.
• В тестовой Альфа-версии добавлена возможность использования Агентом ETL модулей получения данных, написанных на языке Python. Теперь для загрузки данных, имеющих сложную и нестандартную структуру, можно будет подготовить специальный код на Python, встроить этот код в модуль получения данных в Modus ETL и настроить автоматическое получение данных.

Трансформация данных:

• Теперь при копировании и переносе сценариев обработки данных схема (вёрстка) отображения шагов будет воспроизводиться в модели WorkFlow
• В шаблон шага «Разделение строки» добавлена возможность использования «пробела» в качестве разделителя строк
• В шаблон шага «Произвольный код 1С» добавлена возможность в коде 1С использовать «Параметры сценария»
• В шаблоне шага «Перенос данных» механизм создания таблицы-приемника оптимизирован и адаптирован под современные версии ClickHouse
• Добавлена возможность при помощи изменения SQL-запроса выполнять тонкую настройку параметров создания временных таблиц хранилища
• Добавлена кнопка "Расширенные настройки" для управления выбранным объектом WorkFlow. Теперь пользователь может заходить в свойства шагов сценария и изменять типы связей между шагами, выбирая тип «Временная таблица» или «Вложенный запрос».
• В сценариях обработки данных были добавлены новые шаблоны: «Очистка таблицы», «Обновление таблицы», «Обновление таблицы из таблицы-источника»
• Доработан Агент ETL: теперь работа шаблонов шагов сценария в части Machine Learning не требует установки отдельного специального сервиса.

Управление хранилищем:

• Доработана форма создания и редактирования таблицы хранилища: реализовано интерактивное управление параметрами полей (столбцов) без необходимости «проваливаться» в форму настройки каждого поля. Это повышает удобство пользователя при работе и экономит время настройки таблицы на ~30%.
• Доработана форма редактирования таблицы хранилища: добавлена возможность на основании таблицы хранилища создать и обновить простой набор данных на аналитическом портале Modus BI без необходимости создавать таблицу хранилища заново.
• Доработана форма создания и редактирования таблицы хранилища: добавлен столбец 'Алиас', с помощью которого можно для каждого поля таблицы указать псевдоним для описательной документации, а также использовать его при создании простых наборов данных для аналитического портала Modus BI.
• Добавлена возможность экспорта описания и структуры таблиц хранилища в виде файлов с описательной документацией в форматы PDF, XLSX, DOCX, TXT и не только. Теперь пользователь может использовать их для подготовки отчётной документации по проектам, пояснительных записок, инструкций и так далее. Это оптимизирует трудозатраты на подготовку документации по используемым таблицам и наборам данных минимум в два раза.

Команда Modus также поработала над информационной безопасностью Modus ETL. Теперь пароль строки подключения к ETL при выводе информации в файл лога скрыт.

Прочие доработки:

• В очередной раз получен сертификат «1С:Совместимо» для Modus ETL
• Выполнено обновление «1С:Библиотеки стандартных подсистем» до версии 3.1.9.
• Доработан раздел «Основные настройки»: на вкладке «Прочее» в группу «Очистка журналов событий сбора данных» добавлены дополнительные опции управления (очистка журналов событий сбора данных, настройка расписания и события очистки).
• Актуализирована служебная форма для тестирования взаимодействия между Modus ETL и Агентом ETL
• На главной странице Modus ETL добавлена возможность скачивать дистрибутивы Агента ETL и Адаптера ETL для 1С. Если раньше нужно было получать дистрибутивы на сайте 1С или искать их в каталоге с шаблонами конфигураций 1С, то теперь этого делать не нужно.

2021

Добавление интерфейса Workflow

В обновленном релизе Modus ETL 1.5 появился интерфейс Workflow, который является более функциональной и удобной альтернативой настройке шагов сценария в виде таблицы. Об этом 21 июля 2021 года сообщила компания Modus BI.

Modus ETL развивается в концепции low-code, что подразумевает возможность настраивать ETL-операции в визуальном интерфейсе без необходимости написания кода.

Интерфейс WorkFlow дает возможность проектировать сценарии обработки данных:

• размещая шаги на холсте и связывая шаги друг с другом для передачи данных и/или управления между шагами,
• настраивая для шага правила обработки данных с использованием готовых шаблонов (мастеров) и правила сбора статистики и проверки качества данных.
• при запуске сценария на выполнение в интерфейсе отображается выполнение сценария, сохраняются для последующего анализа логи выполнения и статистика по данным.

Кроме того, шаги сценария обработки данных могут выполняться параллельно, что обеспечивает гибкость настройки и большую производительность.

Пример параллельного выполнения шагов сценария в Workflow:

Также в Modus ETL 1.5 реализован обновленный дизайн приложения: изменены стили цветового оформления и существенно переработан интерфейс для большего удобства работы.

Основные возможности по управлению качеством данных

• управление нормативно-справочной информацией
• формирование отчетности в эталонных терминах
• трансформация первичных данных в целевую модель
• расчет ключевых показателей эффективности

Управление хранилищем данных Modus ETL

Архитектура Modus ETL

2017

Сертификат «1С:Совместимо!»

В 2017 году продукт «Модус:Управления корпоративным хранилищем данных (ETL)» получил сертификат «Совместимо! Система программ 1С:Предприятие».

Особенности и возможности программы

Продукт "Модус:Управление корпоративным хранилищем данных (ETL)" предназначен для построения и управления корпоративным хранилищем данных (КХД), автоматизированного сбора данных из различных источников данных, включая инструменты управления качеством данных.

(Данные актуальны на апрель 2017 года)

Управление сбором данных:

• Использование в качестве источника "1C:Предприятие" (в т. ч. 1С:Fresh), данных баз данных (MS SQL, Oracle), веб-сервисов, файлов MS Excel;
• Возможные приемники данных: внешние источники "1C:Предприятие", базы данных MS SQL;
• Возможность настройки и сохранения правил сбора данных, включая настройки для указанного источника данных;
• Возможность загрузки данных в несколько потоков (многопоточность);
• Возможность загрузки данных по расписанию, включая визуализацию расписания загрузки данных;
• Возможность визуального конструирования запроса на языке SQL/1C;
• Возможность визуализации структуры метаданных базы "1C:Предприятие";
• Управление обработкой данных:
• Возможность настройки правил трансформации данных – сценариев на языке SQL/1С;
• Возможность хранения актуальных данных и истории изменения данных (версии данных) в одной таблице;
• Настройка правил версионирования данных: определение ключевых полей и расчет хэш-сумм;
• Настройка правил валидации и очистки данных (использование преднастроенных шаблонов);
• Настройка правил консолидации данных;

Другие возможности:

• Возможность объединения правил выгрузки данных и сценариев трансформации данных в пакеты и настройку расписания под запуска пакетов;
• Подсистема логирования процессов загрузки и трансформации данных;
• Возможность уведомления на электронную почту о событиях системы;
• Возможность написания произвольного алгоритма (AddOn) при загрузке и обработке данных;
• Возможность подключения плагинов для процессов обработки данных;
• Реализацияв системе рабочего места аналитика по сбору данных (АРМ аналитика).

Конфигурация "Хэндисофт: Управление корпоративным хранилищем данных (ETL)" не является самостоятельной, для ее работы необходимо наличие установленной платформы "1С:Предприятие 8.3" (не ниже версии 8.3.8).

Конфигурация "Хэндисофт: Управление корпоративным хранилищем данных (ETL)" разработана с использованием функционала "1С:Библиотеки стандартных подсистем".